时间序列分析
平稳时间序列及其性质
平稳时间序列的定义
设\(\{X_t\}\)为一时间序列，\(\forall\ m\in N\)，对于\(t_1,t_2,\cdots,t_m\in T\)，\(\forall\ \tau\in N\)，有\[F_{t_1,t_2,\cdots,t_m}(x_1,x_2,\cdots,x_m)=F_{t_1+\tau,t_2+\tau,\cdots,t_m+\tau}(x_1,x_2,\cdots,x_m)\]，则称序列\(\{X_t\}\)为严平稳序列。
设\(\{X_t\}\)为一时间序列，满足：
\(\forall\ t\in T\)，有\(E(X_t)=\mu\)；
\(\forall\ t,s,k\in T\)，\(E(X_t^2)<\infty\)，\(\gamma(t,s)=\gamma(k,k+s-t)\)。
则称序列\(\{X_t\}\)为宽平稳序列。
由于正态时间序列的参数只与均值向量和协方差矩阵有关，因此正态时间序列的宽平稳和严平稳时等价的。
宽平稳序列的性质
自协方差函数只与步长有关，不受始、末时间节点的影响。
\(\forall\ t\in T\)，\(Var(X_t)=\gamma(0)\)。
平稳性检验
白噪声检验
白噪声及Bartlett定理
如果一个宽平稳序列满足：
- \(\forall\ k\neq0\)，\(\gamma(k)=0\)。
则称此序列为纯随机序列（白噪声序列）。
Bartlett定理：
对于一个观察期数为\(n\)观察样本序列，\(\forall\ k\neq0\)有\[\hat{\rho}_k\mathop{\sim}^.N(0,\frac{1}{n})\]
检验及统计量
\(H_0\)：\(\forall\ m\geq0\)，\(\rho_1=\rho_2=\cdots=\rho_m=0\)
\(Q_{BP}\)统计量：\[Q_{BP}=n\sum_{i=1}^m\hat{\rho}_i\mathop{\sim}^.\chi^2(m)\]，\(Q_{BP}\)统计量适合用于观测期数\(n\)很大的场合。
\(Q_{LB}\)统计量：\[Q_{LB}=n(n+2)\sum_{i=1}^m\frac{\hat{\rho}_i}{n-i}\mathop{\sim}^.\chi^2(m)\]，\(Q_{LB}\)统计量是\(Q_{BP}\)统计量的修正，可适用于\(n\)较小的场合。通常取情况下的\(Q\)统计量指\(Q_{LB}\)统计量。
AR模型
模型定义
\[x_t=\phi_0+\phi_1x_{t-1}+\cdots+\phi_px_{t-p}+\varepsilon_t\]，其中\(\phi_p\neq0\)，\(\varepsilon_t\sim N(0,\sigma^2)\)，诸\(\varepsilon_t\)“绝对”独立。
对上述每一个\(x_i\)做处理：\(x_i-\frac{\phi_0}{1-\phi_1-\cdots-\phi_p}\)，就可以得到中心化AR模型。
平稳AR模型的判别
AR模型天然满足宽平稳序列定义中的第二条定义。因此只要验证\(\forall\ t\in T\)，\(E(x_t)=\mu\)就能等价证明AR模型是平稳的。
AR模型对应的线性非齐次方程：\[x_t-\phi_1x_{t-1}-\phi_2x_{t-2}+\cdots-\phi_px_{t-p}=h(t)\]，它的解为\(x_t=\sum_{i=1}^pc_i\lambda_i^t+x^*\)，其中\(c_i\)为任意常数，\(\lambda_i\)为对应特征方程的根，\(x^*\)为特解。
因为\(x_t\)不能随着时间递推而发散，故\(\lim_\limits{t\to\infty}x_t\neq\infty\)，所以诸\(\lambda_i\)的取值应该在\((-1,1)\)中。
\(p\)阶齐次线性差分方程的特征方程为：\[\lambda^p-\phi_1\lambda^{p-1}-\cdots-\phi_{p-1}\lambda-\phi_p=0\]，或写为自回归系数多项式：\[1-\phi_1\frac{1}{\lambda}-\cdots-\phi_{p-1}\frac{1}{\lambda^{p-1}}-\phi_p\frac{1}{\lambda^p}=0\]。当诸\(|\lambda_i|<1\)（或自回归系数多项式的根\(\big{|}\frac{1}{\lambda_i}\big{|}>1\)）时，AR模型时平稳的。
平稳AR模型的统计性质
均值
\[\forall\ t\in T,\ E(X_t)=\frac{\phi_0}{1-\phi_1-\cdots-\phi_p}\]，中心化AR模型的均值为\(0\)。
方差
根据递推式\(\{x_t\}\)可以表示为无穷多个纯随机序列的线性组合：\(x_t=G_0\varepsilon_t+G_1\varepsilon_{t-1}+G_2\varepsilon_{t-2}+\cdots\)。
例：求AR(1)模型的方差：
AR(1)模型：\(x_t=\phi_1x_{t-1}+\varepsilon_t\)
设\(x_0=0\)，则\[x_1=\phi_1x_0+\varepsilon_1\\x_2=\phi_1x_1+\varepsilon_2\\\cdots\\x_t=\sum_{i=1}^t\phi_1^{t-i}\varepsilon_i\\Var(x_t)=\frac{(\phi_1^2)^t}{1-\phi_1^2}\sigma^2\]，\(\gamma(0)=\lim_\limits{t\to\infty}Var(x_t)=\frac{\sigma^2}{1-\phi_1^2}\)
AR(p)模型的方差为：
自协方差函数、自相关系数
对AR(p)模型的等号两边乘以\(x_{t-k}\)再求期望得：\[E(x_tx_{t-k})=\phi_1E(x_{t-1}x_{t-k})+\cdots+\phi_pE(x_{t-p}x_{t-k})+E(\varepsilon_tx_{t-k})\]，即：\(\gamma(k)=\phi_1\gamma(k-1)+\cdots+\phi_p\gamma(k-p)\)
同理，由递推公式得AR(1)模型的自协方差函数为：\(\gamma(k)=\frac{\sigma^2}{1-\phi_1^2}\phi_1^k,\ \ k\geq1\)
AR(2)模型的自协方差函数为：
AR(p)模型自相关系数的性质：(1) 拖尾性 (2) 呈指数衰减
偏自相关系数
设有\(k\)阶自回归模型（我认为也就是AR(k)模型）：\[x_t=\beta_1x_{t-1}+\beta_2x_{t-2}+\cdots+\beta_kx_{t-k}+\varepsilon_t\]，\(X_t\)与\(X_{t-k}\)的偏自相关系数为\(\beta_k\)。
将上式处理成为Yule-Walker方程便可以得到\(\beta_k\)与自相关系数的关系为：\(\beta_k=\frac{D_k}{D}\),其中\[D=\left |\begin{matrix}1&\rho_1&\cdots&\rho_{k-1}\\\rho_1&1&\cdots&\rho_{k-2}\\\vdots&\vdots&\ddots&\cdots\\\rho_{k-1}&\rho_{k-2}&\cdots&1\end{matrix}\right |\ \ D_k=\left |\begin{matrix}1&\rho_1&\cdots&\rho_{1}\\\rho_1&1&\cdots&\rho_{2}\\\vdots&\vdots&\ddots&\cdots\\\rho_{k-1}&\rho_{k-2}&\cdots&\rho_k\end{matrix}\right |\]
平稳AR(p)模型的偏自相关系数具有\(p\)阶截尾性。
MA模型
模型定义
\[\varepsilon_t=\theta_0+\theta_1\varepsilon_{t-1}+\cdots+\theta_q\varepsilon_{t-q}+x_t\]，其中\(\theta_q\neq0\)，\(\varepsilon_i\sim N(0,\sigma^2)\)，诸\(\varepsilon_i\)“绝对独立”。
对上述\(x_t\)做处理：\(x_t-\theta_0\)即可得到中心化MA模型。
MA模型的统计性质
均值
\[\forall\ t\in T,\ \ E(X_t)=-\theta_0\]，中心化MA模型的均值为\(0\)。
方差
\[\forall\ t\in T,\ \ Var(X_t)=\sigma^2(1+\theta_1^2+\theta_2^2+\cdots+\theta_q^2)\]
自协方差函数与自相关系数
（自协方差函数计算公式省略）
\[\rho_k=\begin{cases}1&k=0\\\frac{-\theta_k+\sum_{i=1}^{q-k}\theta_i\theta_{k+i}}{1+\theta_1^2+\cdots+\theta_q^2}&1\leq k\leq q\\0&k>q\end{cases}\]，自相关系数\(q\)阶截尾。
仅当MA模型为可逆时（AR模型平稳的对偶问题），上述\(\rho\)与\(\theta\)的关系才是可逆的。
偏自相关系数
根据\(\beta_k=\frac{D_k}{D}\)可得到MA模型的偏自相关系数表达式，它具有拖尾性。
ARMA模型
Wold分解定理证明了一个序列平稳等价于\(\Leftrightarrow\)它可以用ARMA模型表示。
模型定义
\[x_t-\phi_1x_{t-1}-\cdots-\phi_px_{t-p}=\varepsilon_t-\theta_1\varepsilon_{t-1}-\cdots-\theta_q\varepsilon_{t-q}\]。
ARMA模型的平稳性由其自回归部分的平稳性决定；ARMA模型的可逆性由平均移动部分的可逆性决定。
模型的自相关系数与偏自相关系数
\[\begin{matrix}模型&自相关系数&偏自相关系数\\AR(p)&拖尾&p阶截尾\\MA(q)&q阶截尾&拖尾\\ARMA(p,q)&拖尾&拖尾\end{matrix}\]
平稳序列的拟合
平稳性检验（单位根检验）
单位根检验即ADF检验，但ADF检验是对AR模型的平稳性检验，而不是检验序列的平稳性，因此我暂时没有看懂。
平稳性检验之后进行白噪声检验。
模型识别
相关系数的估计值：\[\hat{\rho}_k=\frac{\sum_{t=1}^{n-k}(x_t-\bar{x})(x_{t+k}-\bar{x})}{\sum_{t=1}^n(x_t-\bar{x})^2}\ \ \ \ \ k=0,1,\cdots,n-1\]
偏相关系数的估计值：\[\hat{\beta}_k=\frac{\hat{D}_k}{\hat{D}}\ \ \ \\ k=0,1,\cdots,n-1\]
根据相关系数和偏相关系数的拖尾和截尾性确定ARMA模型的阶数。
参数估计
矩估计
通过平稳性检验的ARMA模型的是平稳和可逆的，根据自相关系数和模型的参数的关系可以求出参数的唯一解。矩估计是先计算出\(1\)到\(p+q\)阶的自相关系数与参数的等式关系，再求解这\(p+q\)个方程所组成的方程组即可得出参数的解的估计值。
矩估计是利用样本\(2\)阶矩信息对参数的估计，在低阶ARMA模型时的计算量较小。矩估计的精度一般不高，它的估计结果一般用作最大似然估计和最小二乘估计的迭代计算的初始值。
最大似然估计
通常假设序列服从多元正态分布，再利用计算机软件和迭代算法求解\(p+q+1\)个超越方程，最终得出参数的估计值。
最小二乘估计
使预测值和真实值之差的平方和最小，需要借助迭代算法求出。通常采用条件最小二乘估计假设过去未观测到的序列值是\(0\)。最小二乘估计的精度一般很高。
模型检验
模型的显著性检验
\(H_0\)：误差序列为白噪声序列（即\(\rho_1=\rho_2=\cdots=\rho_m\ \ \ \ \forall\ m\geq1\)）
与纯随机性检验同理。
若拒绝原假设，误差不是白噪声序列，则说明误差序列中还有仍未完全提取出的信息。
参数的显著性检验
书上并未介绍清楚，但是这里应该和回归模型参数的t检验相同。
无季节效应的非平稳序列分析
差分
通过差分将趋势效应消除。具有线性趋势的用一阶差分，具有二次函数趋势的用二阶差分。具有固定周期的采用步长为周期的差分。一个\(d\)阶差分后的ARMA模型记为ARIMA(p,d,q)模型。
由于差分会损失信息，尽量避免过差分。
稀系数模型
例：
自相关系数拖尾，偏自相关系数4阶截尾，考虑使用AR(4)模型。同时观察到\(2\)阶、\(3\)阶偏自相关系数非显著不为\(0\)，则使用AR((1,4))模型。
有季节效应的非平稳序列分析
因素分解模型
趋势效应的提取
使用简单移动平均。
季节效应的提取
如果周期的振幅随时间不变，则考虑使用加法模型：序列值=总序列均值+季节指数+随机误差。其中季节指数=一个周期内的序列均值-总序列均值。
如果周期的振幅随时间变化，则考虑使用乘法模型：序列值=总序列均值×季节指数×随机误差。
ARIMA模型
ARIMA加法模型
若季节效应、趋势效应、随机误差项之间不存在交互影响，则先做\(d\)阶差分（趋势差分）再做\(s\)步差分（季节差分，\(s\)为周期），再用序列去拟合ARMA模型，记为ARIMA(p,(d,s),q)模型。
ARIMA乘法模型
若季节效应、趋势效应、随机误差项之间存在交互影响，则先做\(d\)阶差分（趋势差分）再做\(s\)步差分（季节差分，\(s\)为周期），再用序列去拟合ARMA模型，记为ARIMA(p,(d,s),q)模型。之后考察以周期为单位的自相关系数和偏自相关系数，去拟合ARMA模型，记为ARIMA(P,(d,s),Q)模型。整个乘法模型可记为：\(ARIMA(p,d,q)×(P,d,Q)_{s}\)模型。